Camera pose estimation is a key step in standard 3D reconstruction pipelines that operate on a dense set of images of a single object or scene. However, methods for pose estimation often fail when only a few images are available because they rely on the ability to robustly identify and match visual features between image pairs. While these methods can work robustly with dense camera views, capturing a large set of images can be time-consuming or impractical. We propose SparsePose for recovering accurate camera poses given a sparse set of wide-baseline images (fewer than 10). The method learns to regress initial camera poses and then iteratively refine them after training on a large-scale dataset of objects (Co3D: Common Objects in 3D). SparsePose significantly outperforms conventional and learning-based baselines in recovering accurate camera rotations and translations. We also demonstrate our pipeline for high-fidelity 3D reconstruction using only 5-9 images of an object.
translated by 谷歌翻译
Traditional 3D scene understanding approaches rely on labeled 3D datasets to train a model for a single task with supervision. We propose OpenScene, an alternative approach where a model predicts dense features for 3D scene points that are co-embedded with text and image pixels in CLIP feature space. This zero-shot approach enables task-agnostic training and open-vocabulary queries. For example, to perform SOTA zero-shot 3D semantic segmentation it first infers CLIP features for every 3D point and later classifies them based on similarities to embeddings of arbitrary class labels. More interestingly, it enables a suite of open-vocabulary scene understanding applications that have never been done before. For example, it allows a user to enter an arbitrary text query and then see a heat map indicating which parts of a scene match. Our approach is effective at identifying objects, materials, affordances, activities, and room types in complex 3D scenes, all using a single model trained without any labeled 3D data.
translated by 谷歌翻译
神经场通过将坐标输入映射到采样值来模型信号。从视觉，图形到生物学和天文学的许多领域，它们正成为越来越重要的主链体系结构。在本文中，我们探讨了这些网络中常见的调理机制之间的差异，这是将神经场从信号的记忆转移到概括的基本要素，其中共同建模了位于歧管上的一组信号。特别是，我们对这些机制的缩放行为感兴趣，以对日益高维的调理变量感兴趣。正如我们在实验中显示的那样，高维条件是建模复杂数据分布的关键，因此，确定哪种体系结构在处理此类问题时最能实现哪种选择。为此，我们运行了使用串联，超网络和基于注意力的调理策略对2D，3D和4D信号进行建模的实验，这是文献中尚未进行的必要但费力的努力。我们发现，基于注意力的条件在各种环境中的其他方法都优于其他方法。
translated by 谷歌翻译
神经辐射场（NERFS）表现出惊人的能力，可以从新颖的观点中综合3D场景的图像。但是，他们依赖于基于射线行进的专门体积渲染算法，这些算法与广泛部署的图形硬件的功能不匹配。本文介绍了基于纹理多边形的新的NERF表示形式，该表示可以有效地与标准渲染管道合成新型图像。 NERF表示为一组多边形，其纹理代表二进制不相处和特征向量。用Z-Buffer对多边形的传统渲染产生了每个像素的图像，该图像由在片段着色器中运行的小型，观点依赖的MLP来解释，以产生最终的像素颜色。这种方法使NERF可以使用传统的Polygon栅格化管道渲染，该管道提供了庞大的像素级并行性，从而在包括移动电话在内的各种计算平台上实现了交互式帧速率。
translated by 谷歌翻译
我们介绍了一种方法，例如针对3D点云的提案生成。现有技术通常直接在单个进料前进的步骤中回归建议，从而导致估计不准确。我们表明，这是一个关键的瓶颈，并提出了一种基于迭代双边滤波的方法。遵循双边滤波的精神，我们考虑了每个点的深度嵌入以及它们在3D空间中的位置。我们通过合成实验表明，在为给定的兴趣点生成实例建议时，我们的方法会带来巨大的改进。我们进一步验证了我们在挑战性扫描基准测试中的方法，从而在自上而下的方法的子类别中实现了最佳实例分割性能。
translated by 谷歌翻译
给定一个单眼视频，在恢复静态环境时进行分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决此问题，从而限制其对环境的性能和理解。我们介绍了脱钩的动态神经辐射场（D $^2 $ nerf），这是一种自制的方法，采用单眼视频，并学习了一个3D场景表示，该表示将移动对象（包括它们的阴影）从静态背景中解脱出来。我们的方法通过两个单独的神经辐射场表示移动对象和静态背景，只有一个允许时间变化。这种方法的幼稚实现导致动态组件接管静态的成分，因为前者的表示本质上更一般并且容易过度拟合。为此，我们提出了一种新颖的损失，以促进现象的正确分离。我们进一步提出了一个阴影场网络，以检测和解除动态移动的阴影。我们介绍了一个新的数据集，其中包含各种动态对象和阴影，并证明我们的方法可以在解耦动态和静态3D对象，遮挡和阴影删除以及移动对象的图像分段中获得比最新方法更好的性能。
translated by 谷歌翻译
2021-12-09
我们呈现神经描述符字段（NDFS），对象表示，其通过类别级别描述符在对象和目标（例如用于悬挂的机器人夹具或用于悬挂的机架）之间进行编码和相对姿势。我们使用此表示进行对象操作，在这里，在给定任务演示时，我们要在同一类别中对新对象实例重复相同的任务。我们建议通过搜索（通过优化）来实现这一目标，为演示中观察到的描述符匹配的姿势。 NDFS通过不依赖于专家标记的关键点的3D自动编码任务，方便地以自我监督的方式培训。此外，NDFS是SE（3） - 保证在所有可能的3D对象翻译和旋转中推广的性能。我们展示了在仿真和真正的机器人上的少数（5-10）示范中的操纵任务的学习。我们的性能遍历两个对象实例和6-DOF对象姿势，并且显着优于最近依赖于2D描述符的基线。项目网站：https://yilundu.github.io/ndf/。
translated by 谷歌翻译
我们扩展了神经3D表示，以允许直观和可解释的用户控制超出新颖视图渲染（即相机控制）。我们允许用户注释一个希望在训练图像中只用少量掩模注释来控制的场景的哪个部分。我们的主要思想是将属性视为给定场景编码的神经网络回归的潜在变量。这导致了几次拍摄的学习框架，当未提供注释时，框架会自动发现属性。我们将我们的方法应用于具有不同类型的可控属性的各种场景（例如，人类面上的表达式控制，或在无生命对象的移动中的状态控制）。总体而言，我们据我们所知，我们的知识展示了第一次新颖的视图和新颖的属性从单一视频重新渲染场景。
translated by 谷歌翻译
这项工作的目标是通过扫描平台捕获的数据进行3D重建和新颖的观看综合，该平台在城市室外环境中常设世界映射（例如，街景）。给定一系列由摄像机和扫描仪通过室外场景的摄像机和扫描仪进行的序列，我们产生可以从中提取3D表面的模型，并且可以合成新颖的RGB图像。我们的方法扩展了神经辐射字段，已经证明了用于在受控设置中的小型场景中的逼真新颖的图像，用于利用异步捕获的LIDAR数据，用于寻址捕获图像之间的曝光变化，以及利用预测的图像分段来监督密度。在光线指向天空。这三个扩展中的每一个都在街道视图数据上的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建，并与传统方法（例如〜Colmap）和最近的神经表示（例如〜MIP-NERF）相比，合成更高质量的新颖视图。
translated by 谷歌翻译
我们呈现NESF，一种用于单独从构成的RGB图像中生成3D语义场的方法。代替经典的3D表示，我们的方法在最近的基础上建立了隐式神经场景表示的工作，其中3D结构被点亮功能捕获。我们利用这种方法来恢复3D密度领域，我们然后在其中培训由构成的2D语义地图监督的3D语义分段模型。尽管仅在2D信号上培训，我们的方法能够从新颖的相机姿势生成3D一致的语义地图，并且可以在任意3D点查询。值得注意的是，NESF与产生密度场的任何方法兼容，并且随着密度场的质量改善，其精度可提高。我们的实证分析在复杂的实际呈现的合成场景中向竞争性2D和3D语义分割基线表现出可比的质量。我们的方法是第一个提供真正密集的3D场景分段，需要仅需要2D监督培训，并且不需要任何关于新颖场景的推论的语义输入。我们鼓励读者访问项目网站。
translated by 谷歌翻译